พระวรวงศ์เธอ พระองค์เจ้าปฤษฎางค์ มีหม่อมท่านหนึ่งคือ หม่อมตลับ ที่สมรสกันตั้งแต่ก่อนออกมาศึกษาในยุโรป แต่ทั้งสองมิได้มีบุตรธิดาด้วยกัน ในงานเขียนของ ดับเบิลยู. เอส. บริสโทว์ (W.S. Bristowe) ได้อ้างว่าหม่อมต่างด้าวนางหนึ่งที่พระองค์เจ้าปฤษฎางค์ทรงคบหาเมื่อครั้งอยู่ในลอนดอนเป็นน้องสาวของนาย เจ. สตีเวนส์ (J. Stevens) นายไปรษณีย์คนแรกของเมืองเชียงใหม่ และกล่าวอีกว่าพระองค์เจ้าปฤษฎางค์มีสัมพันธ์สวาทกับสตรีสูงศักดิ์ท่านหนึ่งที่ต่างฝ่ายต่างมีครอบครัวแล้ว[20] แต่ปรากฏด้วยหลักฐานว่าพระพุทธเจ้าหลวงทรงส่งหม่อมตลับให้ตามไปอยู่ในฐานะภรรยาราชทูตที่ปารีสในปี พ.ศ. 2427 และในที่สุดผู้กล่าวหาพระองค์ได้มีหนังสือไปขอขมาในขณะที่ทรงเป็นสังฆราชที่นครโคลัมโบ